我们探索跨语性多演讲者语音综合,并将跨语性语音转换应用于自动语音识别(ASR)系统的数据增强。通过广泛的实验,我们表明我们的方法允许语音合成和语音转换的应用,以在模型培训期间仅使用一个目标语言使用者在目标语言上改善ASR系统。与使用许多讲话者的其他作品相比,我们设法缩小了经过合成的与人类语音训练的ASR模型之间的差距。最后,我们表明,只使用目标语言的单个真实扬声器,可以通过我们的数据增强方法获得有希望的ASR培训结果。
translated by 谷歌翻译
YOUTTS为零拍摄多扬声器TTS的任务带来了多语言方法的力量。我们的方法在VITS模型上构建,并为零拍摄的多扬声器和多语言训练增加了几种新颖的修改。我们实现了最先进的(SOTA)导致零拍摄的多扬声器TTS以及与VCTK数据集上的零拍语音转换中的SOTA相当的结果。此外,我们的方法可以实现具有单扬声器数据集的目标语言的有希望的结果,以低资源语言为零拍摄多扬声器TTS和零拍语音转换系统的开放可能性。最后,可以微调言论不到1分钟的言论,并实现最先进的语音相似性和合理的质量。这对于允许具有非常不同的语音或从训练期间的记录特征的讲话来合成非常重要。
translated by 谷歌翻译
多实例学习(MIL)是一种机器学习的范例,旨在对物体(实例)的集合(袋子)进行分类,仅将标签分配给袋子。通过选择要代表每个袋子的实例来解决这个问题,以转换为标准监督学习的MIL问题。可视化可以是通过将用户的知识纳入分类过程来评估学习方案的有用工具。考虑到多个实例学习是无法通过当前可视化技术无法处理的范例,我们提出了一种名为Miltree的基于树的可视化,以支持MIL问题。树的第一级代表袋子,第二级代表属于每个袋的实例,允许用户以直观的方式理解MIL数据集。此外,我们为MIL提出了两个新的实例选择方法,帮助用户进一步提高模型。我们的方法可以处理二进制和多字样。在我们的实验中,SVM用于构建分类器。通过支持Miltree布局,通过更改由原型实例组成的训练集来更新初始分类模型。实验结果验证了我们的方法的有效性,显示Miltree的视觉挖掘可以支持MIL场景中的探索和改进模型,并且我们的实例选择方法在大多数情况下优于当前可用的替代方案。
translated by 谷歌翻译
Gaussian Process regression is a kernel method successfully adopted in many real-life applications. Recently, there is a growing interest on extending this method to non-Euclidean input spaces, like the one considered in this paper, consisting of probability measures. Although a Positive Definite kernel can be defined by using a suitable distance -- the Wasserstein distance -- the common procedure for learning the Gaussian Process model can fail due to numerical issues, arising earlier and more frequently than in the case of an Euclidean input space and, as demonstrated in this paper, that cannot be avoided by adding artificial noise (nugget effect) as usually done. This paper uncovers the main reason of these issues, that is a non-stationarity relationship between the Wasserstein-based squared exponential kernel and its Euclidean-based counterpart. As a relevant result, the Gaussian Process model is learned by assuming the input space as Euclidean and then an algebraic transformation, based on the uncovered relation, is used to transform it into a non-stationary and Wasserstein-based Gaussian Process model over probability measures. This algebraic transformation is simpler than log-exp maps used in the case of data belonging to Riemannian manifolds and recently extended to consider the pseudo-Riemannian structure of an input space equipped with the Wasserstein distance.
translated by 谷歌翻译
Parameter-efficient fine-tuning (PEFT) methods can adapt large language models to downstream tasks by training a small amount of newly added parameters. In multi-task settings, PEFT adapters typically train on each task independently, inhibiting transfer across tasks, or on the concatenation of all tasks, which can lead to negative interference. To address this, Polytropon (Ponti et al.) jointly learns an inventory of PEFT adapters and a routing function to share variable-size sets of adapters across tasks. Subsequently, adapters can be re-combined and fine-tuned on novel tasks even with limited data. In this paper, we investigate to what extent the ability to control which adapters are active for each task leads to sample-efficient generalization. Thus, we propose less expressive variants where we perform weighted averaging of the adapters before few-shot adaptation (Poly-mu) instead of learning a routing function. Moreover, we introduce more expressive variants where finer-grained task-adapter allocation is learned through a multi-head routing function (Poly-S). We test these variants on three separate benchmarks for multi-task learning. We find that Poly-S achieves gains on all three (up to 5.3 points on average) over strong baselines, while incurring a negligible additional cost in parameter count. In particular, we find that instruction tuning, where models are fully fine-tuned on natural language instructions for each task, is inferior to modular methods such as Polytropon and our proposed variants.
translated by 谷歌翻译
如果没有巨大的数据集,许多现代的深度学习技术就无法正常工作。同时,几个领域要求使用稀缺数据的方法。当样本具有变化的结构时,此问题甚至更为复杂。图表示学习技术最近已证明在各种领域中都成功。然而,当面对数据稀缺时,就业的体系结构表现不佳。另一方面,很少的学习允许在稀缺的数据制度中采用现代深度学习模型,而不会放弃其有效性。在这项工作中,我们解决了几乎没有图形分类的问题,这表明将简单的距离度量学习基线配备了最新的图形嵌入式嵌入者,可以在任务上获得竞争性结果。虽然体系结构的简单性足以超越更复杂的功能,它还可以直接添加。为此,我们表明可以通过鼓励任务条件的嵌入空间来获得其他改进。最后,我们提出了一种基于混合的在线数据增强技术,该技术在潜在空间中起作用,并显示其对任务的有效性。
translated by 谷歌翻译
自动生物医学图像分析的领域至关重要地取决于算法验证的可靠和有意义的性能指标。但是,当前的度量使用通常是不明智的,并且不能反映基本的域名。在这里,我们提出了一个全面的框架,该框架指导研究人员以问题意识的方式选择绩效指标。具体而言,我们专注于生物医学图像分析问题,这些问题可以解释为图像,对象或像素级别的分类任务。该框架首先编译域兴趣 - 目标结构 - ,数据集和算法与输出问题相关的属性的属性与问题指纹相关,同时还将其映射到适当的问题类别,即图像级分类,语义分段,实例,实例细分或对象检测。然后,它指导用户选择和应用一组适当的验证指标的过程,同时使他们意识到与个人选择相关的潜在陷阱。在本文中,我们描述了指标重新加载推荐框架的当前状态,目的是从图像分析社区获得建设性的反馈。当前版本是在由60多个图像分析专家的国际联盟中开发的,将在社区驱动的优化之后公开作为用户友好的工具包提供。
translated by 谷歌翻译
通用形态(UNIMORPH)项目是一项合作的努力,可为数百种世界语言实例化覆盖范围的标准化形态拐角。该项目包括两个主要的推力:一种无独立的特征架构,用于丰富的形态注释,并以各种语言意识到该模式的各种语言的带注释数据的类型级别资源。本文介绍了过去几年对几个方面的扩张和改进(自McCarthy等人(2020年)以来)。众多语言学家的合作努力增加了67种新语言,其中包括30种濒危语言。我们已经对提取管道进行了一些改进,以解决一些问题,例如缺少性别和马克龙信息。我们还修改了模式,使用了形态学现象所需的层次结构,例如多肢体协议和案例堆叠,同时添加了一些缺失的形态特征,以使模式更具包容性。鉴于上一个UniMorph版本,我们还通过16种语言的词素分割增强了数据库。最后,这个新版本通过通过代表来自metphynet的派生过程的实例丰富数据和注释模式来推动将衍生物形态纳入UniMorph中。
translated by 谷歌翻译
两区图像分割是将图像分为两个感兴趣的区域,即前景和背景的过程。为此,Chan等人。[Chan,Esedo \ = Glu,Nikolova,Siam on Applied Mathematics 66(5),1632-1648,2006]设计了一个非常适合平滑图像的模型。该模型的一个缺点是,当图像包含振荡组件时,它可能会产生不良的分割。基于要分割的图像的卡通文本分解,我们提出了一个新模型,该模型能够对图像进行准确的分割,其中还包含噪声或振荡信息(例如纹理)。新型模型导致了一个非平滑约束优化问题,我们通过ADMM方法解决了该问题。还证明了数值方案的收敛性。关于平滑,嘈杂和纹理图像的几项实验显示了所提出的模型的有效性。
translated by 谷歌翻译
可靠的评估基准是为了可复制性和全面性而设计的,在机器学习方面取得了进步。但是,由于缺乏多语言基准,视觉和语言研究主要集中在英语任务上。为了填补这一空白,我们介绍了图像的语言理解评估基准。 Iglue通过汇总已有的数据集并创建新的数据来汇集 - 视觉问题回答,跨模式检索,扎根的推理以及跨20种不同语言的扎根成本。我们的基准测试能够评估多语言多模型用于转移学习的模型,不仅在零弹位设置中,而且还以新定义的少数图学习设置。根据对可用最新模型的评估,我们发现翻译测试转移优于零弹性转移,并且对于许多任务而言,很难利用射击的学习。此外,下游性能部分用可用的未标记文本数据进行预处理来解释,并且仅通过目标源语言的类型学距离而微弱。我们希望通过向社区释放基准来鼓励该领域的未来研究工作。
translated by 谷歌翻译